Outlier Detection

AI
gpt-oss-120b
작성자
익명
작성일
2026.02.26
조회수
None
버전
v1
기술 → 데이터과학 → 데이터 분석
이상치 탐지 Isolation Forest Local Outlier Factor One-Class SVM Autoencoder 고차원 데이터 고급

Outlier Detection (이상치 탐지)

개요

Outlier Detection(이상치 탐지)은 데이터 집합에서 다른 관측값들과 현저히 차이가 나는 데이터 포인트를 식별하는 과정을 말한다. 이상치는 측정 오류, 데이터 입력 실수, 혹은 실제로 중요한 특이 현상을 나타낼 수 있기 때문에, 분석 단계에서 제거, 보정, 혹은 별도 분석 대상으로 다루어야 한다. 데이터 과학·데이터 분석 분야에서 이상치 탐지는 모델 성능 향상, 비즈니스 인사이트 도출, 사기 탐지 등 다양한 목적에 핵심적인 전처리 단계로 활용된다.

1. 이상치의 정의와 특성

구분 설명
통계적 이상치 평균·표준편차·분산 등 통계적 지표와 크게 벗어나는 값(예: 3σ 규칙)
구조적 이상치 데이터의 패턴·관계(예: 군집, 시계열)와 일관되지 않는 값
도메인 기반 이상치 특정 분야 지식에 의해 비정상으로 판단되는 값(예: 의료 데이터의 비현실적 혈압)

※ 용어 설명
σ(시그마): 표준편차, 데이터가 평균으로부터 얼마나 퍼져 있는지를 나타내는 지표.

2. 이상치 탐지의 필요성

  1. 모델 정확도 향상 – 이상치는 회귀·분류 모델을 왜곡시켜 과적합(overfitting)이나 편향(bias)을 유발한다.
  2. 비즈니스 리스크 감소 – 사기 거래, 결함 제품 등 비정상 패턴을 조기에 발견해 손실을 방지한다.
  3. 데이터 품질 관리 – 수집·입력 과정에서 발생한 오류를 식별해 데이터 파이프라인을 개선한다.
  4. 새로운 인사이트 – 이상치 자체가 새로운 현상이나 트렌드의 신호가 될 수 있다.

3. 이상치 탐지 방법론

3.1 통계 기반 방법

  • Z‑Score: 각 관측값을 평균으로부터 몇 표준편차 떨어졌는지 계산한다. |Z| > 3이면 이상치로 간주한다.
  • IQR(Interquartile Range) 방법: 1사분위(Q1)와 3사분위(Q3) 사이의 범위(IQR = Q3‑Q1)를 이용해 Q1‑1.5·IQR 이하 또는 Q3+1.5·IQR 이상의 값을 이상치로 판단한다.

3.2 거리 기반 방법

  • k‑Nearest Neighbors (k‑NN): 특정 샘플과 가장 가까운 k개의 이웃까지의 평균 거리를 계산한다. 거리값이 전체 평균보다 크게 차이나면 이상치로 식별한다.
  • Mahalanobis Distance: 다변량 정규분포 가정 하에 공분산 행렬을 이용해 거리 측정; 공분산을 고려하므로 변수 간 상관관계를 반영한다.

3.3 밀도 기반 방법

  • Local Outlier Factor (LOF): 각 샘플의 국부 밀도와 이웃들의 밀도를 비교한다. 밀도가 현저히 낮은 경우 LOF 점수가 높아져 이상치로 판단한다.
  • Isolation Forest: 트리를 이용해 샘플을 무작위로 분리하는 과정에서 적은 횟수로 분리되는 경우 이상치라고 가정한다. 트리 깊이가 짧을수록 이상치 가능성이 높다.

3.4 머신러닝 기반 방법

  • One‑Class SVM: 정상 데이터만을 학습시켜 경계(boundary)를 만든 뒤, 경계 밖에 위치한 샘플을 이상치로 판정한다.
  • Autoencoder: 입력을 압축–복원하는 신경망 구조로, 재구성 오류(reconstruction error)가 큰 경우 이상치로 간주한다.

3.5 딥러닝 기반 방법

  • Variational Autoencoder (VAE), GAN(Generative Adversarial Network) 기반 탐지 등은 고차원·복잡한 데이터(이미지, 시계열)에서 비정형 이상치를 효과적으로 탐지한다.

4. 이상치 탐지 절차

  1. 데이터 전처리
  2. 결측치 처리, 스케일링(표준화·정규화), 카테고리 인코딩 등
  3. 방법 선택
  4. 데이터 규모·차원·도메인 특성에 따라 통계·거리·밀도·머신러닝 중 적합한 기법을 선택한다.
  5. 파라미터 튜닝
  6. k‑NN의 k값, LOF의 이웃 수, Isolation Forest의 트리 개수 등 하이퍼파라미터를 교차 검증 등으로 최적화한다.
  7. 이상치 판정 및 시각화
  8. 판정 결과를 scatter plot, box plot, heatmap 등으로 시각화해 직관적으로 확인한다.
  9. 후처리
  10. 이상치를 제거, 대체(예: 평균/중위수), 혹은 별도 군집으로 재분석한다.

5. Python 구현 예시

아래 예시는 scikit-learn의 Isolation Forest와 LOF를 이용해 이상치를 탐지하는 간단한 코드이다.

import numpy as np
import pandas as pd
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
import matplotlib.pyplot as plt

# 1) 샘플 데이터 생성
rng = np.random.RandomState(42)
X_inlier = 0.3 * rng.randn(200, 2)          # 정상 데이터
X_outlier = rng.uniform(low=-4, high=4, size=(20, 2))  # 인위적 이상치
X = np.r_[X_inlier, X_outlier]

# 2) Isolation Forest 적용
iso = IsolationForest(contamination=0.1, random_state=42)
y_pred_iso = iso.fit_predict(X)   # 1: 정상, -1: 이상치

# 3) Local Outlier Factor 적용
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.1)
y_pred_lof = lof.fit_predict(X)   # 동일한 라벨링 규칙

# 4) 결과 시각화
def plot_results(X, y, title):
    plt.figure(figsize=(6,4))
    plt.scatter(X[y == 1, 0], X[y == 1, 1],
                c='blue', edgecolor='k', s=30, label='Normal')
    plt.scatter(X[y == -1, 0], X[y == -1, 1],
                c='red', edgecolor='k', s=30, label='Outlier')
    plt.title(title)
    plt.legend()
    plt.grid(True)

plot_results(X, y_pred_iso, "Isolation Forest")
plot_results(X, y_pred_lof, "Local Outlier Factor")
plt.show()

핵심 포인트
- contamination 파라미터는 전체 데이터 중 이상치 비율을 사전에 지정한다.
- fit_predict 메서드는 학습과 동시에 라벨(1/‑1)을 반환한다.

6. 장단점 비교

방법 장점 단점
Z‑Score / IQR 구현이 간단하고 계산 비용이 낮음 다변량·비정규 데이터에 취약
k‑NN / Mahalanobis 거리·공분산을 고려해 정밀도 높음 고차원에서 거리 계산 비용 급증(차원의 저주)
LOF 국부 밀도 기반이라 복잡한 구조 탐지에 강함 파라미터(k) 선택이 결과에 크게 영향
Isolation Forest 대규모·고차원 데이터에 효율적 이상치 비율을 사전에 알아야 함
One‑Class SVM 비선형 경계 모델링 가능 학습 시간·메모리 소모가 큼
Autoencoder 비정형 데이터(이미지·시계열) 처리 가능 재구성 오류 기준 설정이 주관적

7. 적용 분야

분야 활용 사례
금융·보안 사기 거래 탐지, 비정상 로그인 시도 감지
제조·품질 관리 공정 이상·불량품 자동 검출
헬스케어 환자 데이터 중 비정상적인 생체 신호 식별
소셜 미디어 스팸·봇 계정 탐지
IoT·센서 네트워크 고장·이상 동작 조기 경보
시계열 분석 갑작스러운 트렌드 변동(예: 주가 급등) 감지

8. 참고 자료

  1. Aggarwal, C. C. (2017). Outlier Analysis. Springer.
  2. Breunig, M. M., et al. (2000). “LOF: Identifying Density‑Based Local Outliers.” Proceedings of SIGMOD.
  3. Liu, F. T., Ting, K. M., & Zhou, Z.-H. (2008). “Isolation Forest.” IEEE ICDM.
  4. Chandola, V., Banerjee, A., & Kumar, V. (2009). “Anomaly Detection: A Survey.” ACM Computing Surveys.
  5. scikit-learn Documentation – Anomaly Detection (https://scikit-learn.org/stable/modules/outlier_detection.html)

결론

이상치 탐지는 데이터 분석 파이프라인에서 품질 관리와 모델 성능 보증을 위한 필수 단계이다. 데이터의 특성, 분석 목적, 계산 자원 등을 고려해 적절한 탐지 기법을 선택하고, 파라미터 튜닝·시각화·후처리 과정을 체계적으로 수행한다면, 비정상 패턴을 효과적으로 식별하고 비즈니스 가치를 극대화할 수 있다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gpt-oss-120b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

이 AI 생성 콘텐츠가 도움이 되었나요?